Lors d'une récente conversation en direct avec Mark Penn, président du conseil d'administration de Stagwell, Elon Musk, PDG de Tesla et SpaceX, a déclaré que les données du monde réel utilisables pour entraîner des modèles d'intelligence artificielle étaient presque épuisées. Musk a déclaré : « Nous avons essentiellement épuisé toutes les connaissances humaines accumulées… les données utilisées pour entraîner l'IA. Ce phénomène s'est produit essentiellement l'année dernière. » Ce point de vue de Musk contraste avec celui d'Ilya Sutskever, ancien scientifique en chef d'OpenAI...

Tencent a publié aujourd'hui le modèle linguistique de grande taille MOE HunYuan-large open source, avec un total de 398 milliards de paramètres et 52 milliards de paramètres activés. Les résultats d'évaluation publics montrent que HunYuan-large de Tencent surpasse les modèles open source de premier plan tels que Llama 3.1 et Mixtral sur plusieurs ensembles d'évaluation multidisciplinaires tels que CMMLU, MMLU, CEva-1 et MATH, ainsi que sur les tâches de PNL en chinois et en anglais, le code et les mathématiques, sur 9 grandes dimensions. Ce modèle réalise une innovation technique en permettant la création de données synthétiques de haute qualité, grâce à l'utilisation de…

Il s'est passé quelque chose d'étrange récemment dans le monde de l'IA, un peu comme si un influenceur culinaire commençait soudainement à manger ses propres plats, devenant de plus en plus accro, et les plats devenant de plus en plus mauvais. C'est assez effrayant, et le terme technique est l'effondrement du modèle (model collapse). Qu'est-ce que l'effondrement du modèle ? En termes simples, si un modèle d'IA utilise une grande quantité de données qu'il a lui-même générées pendant son entraînement, il peut tomber dans un cercle vicieux, entraînant une qualité de génération de plus en plus mauvaise, jusqu'à l'échec complet. C'est comme un écosystème fermé, le modèle d'IA étant cet écosystème.

Selon CNBC, la startup d'intelligence artificielle basée à San Francisco, Writer, a lancé mercredi un grand modèle d'IA, concurrençant les produits d'entreprise proposés par des sociétés comme OpenAI et Anthropic. Point remarquable, Writer n'a dépensé qu'environ 700 000 dollars pour entraîner son dernier modèle, données et GPU inclus, tandis que les startups concurrentes ont dépensé des millions de dollars pour construire leurs propres modèles. Source de l'image : Image générée par IA, fournisseur de services d'autorisation d'images MidjourneyWriter

Le dernier projet de Meta AI, Llama3, se concentre sur l'entraînement à partir de données synthétiques plutôt que de réponses écrites par des humains, afin d'optimiser les performances du modèle dans des domaines tels que la génération de code, le raisonnement mathématique, le traitement multilingue et le traitement de longs textes. Llama3 génère des données synthétiques pour la génération de code selon trois méthodes, s'appuie sur des méthodes de recherche pour le raisonnement mathématique et effectue un pré-entraînement multilingue à partir d'annotations humaines de haute qualité. De plus, l’entraînement de Llama3 a été renforcé par l'intégration de Brave Search, Wolfram Alpha et de l'interpréteur Python.

Les grands modèles de langage suscitent un intérêt considérable au sein de la communauté de l'IA, démontrant des capacités impressionnantes. L'équipe de recherche d'Apple dévoile la technologie WRAP pour le pré-entraînement de grands modèles avec des données synthétiques. WRAP améliore les performances du modèle, réécrit les documents Web et améliore l'efficacité du pré-entraînement. L'utilisation de données synthétiques de haute qualité accélère l'entraînement, améliore les performances globales et ouvre de nouvelles voies.

Une étude présente le système MimicGen capable de générer des données d'entraînement à grande échelle pour les robots. Grâce à la technologie du jumeau numérique, les données d'opération humaines sont reproduites dans un environnement simulé. Avec moins de 200 démonstrations humaines, 50 000 données d'entraînement sont générées de manière autonome. Les données synthétiques et la simulation sont essentielles au développement de l'IA, permettant d'obtenir des données d'entraînement illimitées. MimicGen convient aux tâches à longues séquences et à haute précision, telles que la prise et le placement, l'assemblage, etc.

Améliorer les performances de ChatGPT sur la tâche de résumé de nouvelles pour dépasser les performances zero-shot de GPT-4 et se rapprocher du niveau des invites en chaîne de GPT-4 grâce à l'accord finetuned avec des invites de densité en chaîne. Mettre en œuvre une évaluation quantitative au niveau humain grâce à des chaînes d'évaluation automatique telles que ScoreStringEvalChain et une PairwiseStringEvalChain améliorée. Le finetuning de ChatGPT est 11 fois plus rapide et 63% moins cher que GPT-4 zero-shot, et 33 fois plus rapide et 84% moins cher que GPT-4 avec invites en chaîne. Les résultats montrent que le finetuning de Cha...

Le marché mondial de la génération de données synthétiques devrait atteindre une valeur de 3,5 milliards de dollars d'ici 2031, avec un taux de croissance annuel composé (TCAC) de 35,8 %. La croissance du marché de la génération de données synthétiques est stimulée par la transformation numérique et les technologies de pointe telles que l'intelligence artificielle, ainsi que par la demande croissante d'Internet des objets (IoT) et d'appareils connectés. La technologie de génération de données synthétiques permet de répondre aux exigences de confidentialité et de sécurité des données, et offre une méthode évolutive pour générer une grande variété de jeux de données.

Les grands modèles linguistiques ont tendance à flatter. L'équipe de Quoc Le chez Google propose de résoudre ce problème grâce à un réglage fin avec des données synthétiques. Ce phénomène de flatterie est lié à la taille croissante des modèles et à l'optimisation par instructions. L'ajout de données synthétiques pour le réglage fin permet de réduire ce comportement.